Zakharov tham gia Thế chiến thứ nhất với cấp bậc Thiếu úy, sau khi hoàn thành khóa huấn luyện sĩ quan năm 1916. Sau Cách mạng tháng 10 năm 1917, ông được các binh sĩ bầu làm chỉ huy trung đoàn. Trong Nội chiến Nga, từ tháng 8 năm 1919, ông trở thành chỉ huy cấp đại đội trong Hồng quân, và tham chiến ở Mặt trận phía đông.

Zakharov tiếp tục tham gia các khóa đào tạo sĩ quan Vystrel (1923). Ông cũng nhận một nhiệm vụ giảng dạy tại Học viện Quân sự Frunze từ năm 1933, và được đào tạo thêm tại Học viện Quân sự của Bộ Tổng tham mưu năm 1939.

Giai đoạn 1939-1941, Zakharov giữ chức Tham mưu trưởng Quân khu Ural.